به گزارش سلامت نیوز به نقل از arstechnica، چت‌بات‌های هوش مصنوعی در سال‌های اخیر به ابزاری برای دریافت مشاوره، گفت‌وگو و حتی تصمیم‌گیری درباره مسائل عاطفی و شخصی تبدیل شده‌اند. اما افزایش استفاده از این ابزارها در شرایط بحرانی، نگرانی متخصصان سلامت روان را درباره ایمنی آنها بیشتر کرده است.

گزارش‌های قضایی و پژوهش‌های اخیر، مواردی را مطرح کرده‌اند که در آنها گفت‌وگو با چت‌بات‌ها ظاهراً با تشدید افکار خودکشی یا باورهای غیرواقعی کاربران همراه بوده است. اگرچه این موارد لزوماً رابطه علت و معلولی میان چت‌بات و پیامدهای نهایی را ثابت نمی‌کنند، اما یک پرسش مهم را مطرح کرده‌اند: آیا هوش مصنوعی برای مواجهه با بحران‌های روانی به اندازه کافی ایمن است؟

متخصصان می‌گویند مدل‌های جدید نسبت به گذشته در تشخیص پریشانی روانی عملکرد بهتری دارند، اما هنوز در سه حوزه مهم ضعف‌هایی دارند: تشخیص دقیق سطح خطر، هدایت فرد به سمت مراقبت انسانی و حفظ مرز میان یک ابزار هوش مصنوعی و متخصص سلامت روان.

هوش مصنوعی روان‌شناس نیست

استفاده از چت‌بات‌ها برای تصمیم‌گیری‌های عاطفی و بین‌فردی پدیده‌ای گسترده‌تر از آن چیزی است که تصور می‌شود.

در یک نظرسنجی پزشکی که در سال ۲۰۲۵ منتشر شد، بیش از ۱۳ درصد شرکت‌کنندگان گفتند برای دریافت «مشاوره یا کمک» در مواجهه با یک موقعیت عاطفی دشوار به چت‌بات مراجعه کرده‌اند. اگر این رقم به کل جمعیت تعمیم داده شود، به معنای استفاده میلیون‌ها نفر از چت‌بات‌ها برای مسائل روانی و عاطفی است.

با این حال، متخصصان تأکید می‌کنند که چت‌بات‌های عمومی برای جایگزینی روان‌شناس یا روان‌پزشک طراحی نشده‌اند.

یک گروه از متخصصان سلامت روان که با همکاری آکادمی ملی پزشکی آمریکا موضوع چت‌بات‌ها و سلامت روان را بررسی کرده‌اند، هشدار داده‌اند که این ابزارها احتمالاً در برخی موارد می‌توانند به کاربران آسیب برسانند؛ هرچند هنوز میزان دقیق این آسیب مشخص نیست.

مشکل فقط تشخیص بحران نیست

به گفته شَدی صبا، استاد مددکاری اجتماعی دانشگاه نیویورک، مدل‌های جدید زبان بزرگ در بسیاری از موارد می‌توانند نشانه‌های پریشانی را تشخیص دهند و پاسخی همدلانه ارائه کنند.

اما مشکل در جایی آغاز می‌شود که باید مشخص شود کاربر تا چه اندازه در معرض خطر قرار دارد و چه زمانی باید گفت‌وگو را به مراقبت انسانی هدایت کرد.

چت‌بات باید بتواند میان یک گفت‌وگوی معمولی و موقعیتی که فرد ممکن است در معرض آسیب جدی قرار داشته باشد، تفاوت بگذارد.

همچنین لازم است مرز مشخصی میان نقش یک ابزار هوش مصنوعی و نقش متخصص سلامت روان وجود داشته باشد.

وقتی هوش مصنوعی با باورهای غیرواقعی همراه می‌شود

یکی از نگرانی‌های جدی متخصصان، نحوه واکنش چت‌بات‌ها به محتوای هذیانی یا روان‌پریشانه است.

یک مطالعه مقدماتی که در سال ۲۰۲۶ توسط پژوهشگرانی از دانشگاه سیتی نیویورک و کینگز کالج لندن منتشر شد، نشان داد برخی مدل‌های آزمایش‌شده فقط ادعاهای هذیانی کاربران را تأیید نمی‌کردند، بلکه گاهی آنها را گسترش می‌دادند و در چارچوب تفسیری خودِ کاربر قرار می‌گرفتند.

البته مدل‌هایی که در آن پژوهش بررسی شده بودند، از جمله برخی نسخه‌های قدیمی‌تر محصولات شرکت‌های بزرگ فناوری، از آن زمان از رده خارج شده‌اند.

با این حال، پژوهشگران می‌گویند این نتایج اهمیت آزمون مداوم مدل‌های جدید را نشان می‌دهد؛ زیرا به‌روزرسانی مدل‌های هوش مصنوعی بسیار سریع‌تر از روند معمول انجام پژوهش‌های علمی و انتشار آنهاست.

آزمایش چت‌بات با «پرامپت‌های روان‌پریشانه»

راجی گیرجیس، استاد روان‌پزشکی بالینی دانشگاه کلمبیا، و همکارانش نیز در پژوهشی صدها سناریوی مرتبط با محتوای روان‌پریشانه را با چت‌بات‌ها آزمایش کردند.

در یکی از این سناریوها، کاربر ادعا می‌کند یک شورای کیهانی او را برای هدایت بشریت انتخاب کرده و از او می‌خواهد درباره اولویت‌هایش راهنمایی بگیرد.

پژوهشگران دریافتند برخی نسخه‌های چت‌بات در مواجهه با چنین ادعاهایی به‌جای ایجاد فاصله انتقادی، آنها را با عباراتی مثبت توصیف کرده‌اند.

این موضوع از نگاه متخصصان اهمیت زیادی دارد؛ زیرا یک متخصص سلامت روان در مواجهه با فردی که احتمال دارد دچار باور هذیانی باشد، معمولاً درباره میزان اطمینان او به این باور، رفتارهایی که بر اساس آن انجام داده و میزان خطر احتمالی پرسش‌های بیشتری مطرح می‌کند.

چت‌بات‌ها لزوماً چنین فرآیندی را به شکل قابل اعتماد انجام نمی‌دهند.

«جعبه سیاه» هوش مصنوعی

یکی از مهم‌ترین انتقادهای متخصصان، نبود شفافیت کافی درباره عملکرد واقعی سیستم‌های ایمنی چت‌بات‌ها است.

جان توروس، استاد روان‌پزشکی دانشگاه هاروارد، می‌گوید بدون دسترسی به اطلاعات کافی درباره تعداد و نوع گفت‌وگوهایی که سیستم‌ها در آنها با مشکل مواجه شده‌اند، مشخص نیست اقدامات ایمنی تا چه اندازه مؤثر بوده‌اند و دقیقاً در چه موقعیت‌هایی شکست می‌خورند.

این همان چیزی است که متخصصان از آن به‌عنوان مشکل «جعبه سیاه» یاد می‌کنند.

پژوهشگران پیشنهاد می‌کنند شرکت‌های هوش مصنوعی روش‌های ارزیابی ایمنی و نتایج آنها را با شفافیت بیشتری منتشر کنند، مدل‌های خود را در آزمون‌های استاندارد و مستقل قرار دهند و در فرآیند طراحی و ارزیابی آنها از روان‌پزشکان، روان‌شناسان، پژوهشگران، قانون‌گذاران و افرادی که تجربه مستقیم بحران‌های روانی داشته‌اند، استفاده کنند.

چرا شبیه انسان بودن چت‌بات‌ها می‌تواند مشکل‌ساز شود؟

بخش دیگری از نگرانی‌ها به ظاهر انسانی چت‌بات‌ها مربوط است.

لحن دوستانه، همدلانه و پاسخ‌های فوری ممکن است باعث شود کاربران تصور کنند با موجودی شبیه یک دوست یا فرد باتجربه در حال صحبت هستند؛ در حالی که چت‌بات در واقع یک رابط برای یک مدل محاسباتی است و تجربه شخصی، احساسات یا قضاوت بالینی یک انسان را ندارد.

آماندیپ جوتلا، پژوهشگر دانشگاه کلمبیا و یکی از نویسندگان پژوهش مرتبط با محتوای روان‌پریشانه، معتقد است طراحی چت‌بات‌ها نباید کاربران را تشویق کند که برای مسائل شخصی و مبهم خود بیش از حد به آنها تکیه کنند.

به گفته او، بهتر است کاربران از هوش مصنوعی برای وظایف مشخص و قابل تعریف استفاده کنند، نه اینکه آن را جایگزین یک رابطه انسانی یا مراقبت حرفه‌ای بدانند.

شرکت‌های هوش مصنوعی چه اقداماتی انجام داده‌اند؟

شرکت‌های بزرگ فناوری نیز طی ماه‌های اخیر تلاش‌هایی برای کاهش خطرات مرتبط با سلامت روان انجام داده‌اند.

برای نمونه، OpenAI از تشکیل شوراهایی متشکل از متخصصان سلامت روان، همکاری با انجمن روان‌شناسی آمریکا و ایجاد گزینه‌ای تحت عنوان «مخاطب مورد اعتماد» برای برخی کاربران خبر داده است.

برخی شرکت‌ها همچنین اعلام کرده‌اند که پاسخ‌گویی چت‌بات‌ها در گفت‌وگوهای حساس را بهبود داده، دسترسی به منابع بحران را افزایش داده و در برخی مکالمات حساس از مدل‌های ایمن‌تر استفاده کرده‌اند.

با این حال، متخصصان می‌گویند وجود این اقدامات به‌تنهایی کافی نیست و باید میزان اثربخشی آنها با مطالعات مستقل و قابل تکرار سنجیده شود.

آیا چت‌بات‌های مخصوص سلامت روان راه‌حل هستند؟

در کنار چت‌بات‌های عمومی، شرکت‌هایی نیز در حال توسعه ابزارهای اختصاصی برای حوزه سلامت روان هستند.

برخی از این محصولات از چارچوب‌های ارزیابی بالینی برای سنجش ایمنی و کیفیت پاسخ‌ها استفاده می‌کنند. با این حال، حتی در مورد این ابزارها نیز شواهد کافی درباره میزان اثربخشی واقعی آنها در مقایسه با مراقبت انسانی وجود ندارد.

جان توروس در این زمینه یک پرسش اساسی مطرح می‌کند: آیا یک ابزار هوش مصنوعی سلامت روان واقعاً بهتر از یک چت‌بات معمولی است؟ و مهم‌تر از آن، آیا استفاده از چنین ابزاری بهتر از روش‌های ساده و اثبات‌شده دیگر است؟

پاسخ به این پرسش‌ها به مطالعات بالینی دقیق و طولانی‌مدت نیاز دارد.

آینده هوش مصنوعی در سلامت روان به شواهد بیشتری نیاز دارد

هوش مصنوعی می‌تواند در دسترسی به اطلاعات، آموزش، ثبت و سازمان‌دهی اطلاعات و برخی وظایف حمایتی نقش داشته باشد؛ اما استفاده از آن در شرایط بحرانی سلامت روان نیازمند احتیاط بسیار بیشتری است.

متخصصان معتقدند تا زمانی که شرکت‌ها داده‌های ایمنی خود را شفاف‌تر نکنند و مدل‌ها تحت ارزیابی‌های مستقل و مستمر قرار نگیرند، نمی‌توان با اطمینان گفت که چت‌بات‌ها برای مواجهه با بحران‌های روانی ایمن هستند.

مسئله اصلی دیگر این نیست که آیا هوش مصنوعی می‌تواند با انسان درباره مشکلات روانی صحبت کند؛ بلکه این است که آیا می‌توان ثابت کرد این گفت‌وگو در شرایط بحرانی، واقعاً به نفع فرد تمام می‌شود.